查看原文
其他

后端存储基础知识

cshihong SpringForAll社区 2021-05-26

点击上方☝SpringForAll社区 轻松关注!

及时获取有趣有料的技术文章

本文来源:http://rrd.me/g6P3V


存储的发展历程

什么是存储:

存储:就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问。

当前存储的主要体系结构有三种:DAS、NAS、SAN。

存储发展历程的两个推动力:

  1. 业务上的需求
  2. 技术上的不断提升

早期的存储:

服务器与存储一体:

  1. CPU主频较低
  2. 内存比较小
  3. 硬盘容量也不大
  4. 业务要求也没那么多

存储发展趋势:

  • 重复数据删除
  • SSD固态硬盘
  • 云存储
  • 虚拟化环境的保护
  • 一体化应用存储设备
  • 非结构化数据存储与管理
  • 备份容灾

存储与应用环境

主机内部存储环境:

主机内部I/O流程各个环境共同构成了数据储存的内部应环境。

内部

图:内部存储环境流程

主机内部存储环境的瓶颈:

传统内置存储,有接口,CPU,内存,硬盘等。

  • 硬盘成为整个系统的瓶颈

    有限的硬盘槽数

    单个硬盘存放数据,安全性得不到保证

  • 存储空间利用率等

    本地存储,数据分散,难以共享

  • 可扩展性不够

    总线结构,而非网络结构

    可连接的设备受到限制增加容量时,需停机

网络存储应用环境:

网络存储系统各层构成了网络存储系统的应用环境,决定了数据存储的可靠性、性能和安全性。

网络存储

图:网络存储结构

存储介质

机械硬盘:

机械硬盘

图:机械硬盘结构

机械硬盘由盘片、磁头驱动机构、接口、控制电路、磁头组件、主轴等构成。还有高速缓存芯片、主控芯片、数据传输信息。

机械硬盘的主要参数:

  • 硬盘容量(Volume)

  • 缓存(Rotatinoal speed):磁盘转动圈数/分钟

  • 缓存

  • 平均访问时间

    平均访问时间由平均寻道时间和平均等待时间构成。

  • 数据传输率(Data Transfer Rate)

    内部传输率(Internal Transfer Rate)

    外部传输率(External Transfer Rate)

  • IOPS(Input/Output per Second)每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。

  • Throughput吞吐量:值单位时间内可以成功传输的数据数量。对于大量数据读写的应用,如电视台的视频编辑,视频点播VOD(Video On Demand),则更关注吞吐量指标。

SSD硬盘:

ssd

图:SSD架构框图

  • 无高速旋转部件,性能高,功耗低
  • 多通道并发,通道内Flash颗粒复用时序
  • 支持TCQ/NCQ,一次响应多个IO请求。
  • 典型响应时间低于0.1ms。

SSD优势:

  1. 响应时间段

    机械硬盘的机械特性导致大部分时间浪费在寻道和机械延迟上,数据传输效率受到严重制约。

  2. 读写效率高

    机械硬盘在进行随机读写操作时,磁头不听地移动,导致读写效率底下,而SSD通过内部控制器计算出数据的存放位置,直接进行存取操作,过效率高。

  3. 设备温度低,功耗比机械硬盘低。

  4. SSD不含高速的机械结构部件,可经得住严苛的环境考验,以华为SSD硬盘为例:

    HSSD可承受整栋加速度16.4G,机械硬盘一般为0.5G以下。

    HSSD可抗冲击1500G,机械硬盘一般为70G左右。

SSD硬盘–存储中的应用:

应用

图:存储中的应用

硬盘接口类型:

  • ATA(Advanced Technology Attachment)高级技术附加装置

    ATA硬盘以经常成为IDE Integrated Drive Electronics硬盘。

    ATA接口为并行ATA技术。

  • SCSI接口(Small Computer System Interface)小型计算机系统接口

  • SATA:Serial ATA,串型ATA。

    SATA采用串型方式进行数据传输,接口速率比IDE接口高,最低为150Mps,并且第二代(SATA II),300Mbps接口硬盘已经形成商用,规划内的最高速率可达600Mbps。

    SATA硬盘采用点对点连接方式,支持热插拔,即插即用。

    适合大数据块,业务压力不大的用户使用。如;企业备份数据,归档数据,视频图片存储。

  • SAS接口:(Serial Attached SCSI)串行连接SCSI

    SAS是一种点对点、全双工、双端口的接口。

    SAS专为满足高性能企业需求而设计,实现与SATA的互操作,为企业用户带来前所未有的灵活性和低成本。

    速率每路600M

    SAS具有高性能、高可靠性、强大的扩展性能。

    适合业务量大, 范围评率较高,以小数据块居多,数据较为离散的中/高端用户。如:企业数据库,CRM、ERP等应用。

  • FC接口:FC硬盘采用FC-AL(Fiber Channel Arbitrated Loop)光纤通道仲裁环。

    FC-AL是一种双端口的串型存储接口

    FC-AL支持全双工工作方式

    FC-AL利用类似SATA/SAS所用的4芯连接,提供一种单环拓步结构,一个控制器能够访问126个硬盘。

  • NL SAS采用SAS接口,SATA盘体,也叫近线SAS。

    原生支持SCSI,支持双端口访问,高级容错技术,大容量低功耗。

    更适合大数据块业务,压力不大的用户使用。如:;邮件服务器,文件服务器。


2021Java深入资料领取方式回复“20210112”

墙裂推荐

【深度】互联网技术人的社群,点击了解!





 Hive技术原理

 Flume技术原理

 Kafka深度剖析

 Apache Kafka 实践:重置 offset

 读写锁:使用场景和实现方案(ZooKeeper 实现)


关注公众号,回复“spring”有惊喜!!!

如果资源对你有帮助的话

❤️给个在看,是最大的支持❤️

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存